In this work we introduce a binarized deep neural network (BDNN) model. BDNNs are trained using a novel binarized back propagation algorithm (BBP), which uses binary weights and binary neurons during the forward and backward propagation, while retaining precision of the stored weights in which gradients are accumulated. At test phase, BDNNs are fully binarized and can be implemented in hardware with low circuit complexity. The proposed binarized networks can be implemented using binary convolutions and proxy matrix multiplications with only standard binary XNOR and population count (popcount) operations. BBP is expected to reduce energy consumption by at least two orders of magnitude when compared to the hardware implementation of existing training algorithms. We obtained near state-of-the-art results with BDNNs on the permutation-invariant MNIST, CIFAR-10 and SVHN datasets.

In-context learning has shown great success in i.i.d semantic parsing splits, where the training and test sets are drawn from the same distribution. In this setup, models are typically prompted with demonstrations that are similar to the input question. However, in the setup of compositional generalization, where models are tested on outputs with structures that are absent from the training set, selecting similar demonstrations is insufficient, as often no example will be similar enough to the input. In this work, we propose a method to select diverse demonstrations that aims to collectively cover all of the structures required in the output program, in order to encourage the model to generalize to new structures from these demonstrations. We empirically show that combining diverse demonstrations with in-context learning substantially improves performance across three compositional generalization semantic parsing datasets in the pure in-context learning setup and when combined with finetuning.

在本文中，我们引入了一个新型的神经网络训练框架，该框架增加了模型对对抗性攻击的对抗性鲁棒性，同时通过将对比度学习（CL）与对抗性训练（AT）结合在一起，以保持高清洁精度。我们建议通过学习在数据增强和对抗性扰动下保持一致的特征表示来提高对对抗性攻击的模型鲁棒性。我们利用对比的学习来通过将对抗性示例视为另一个积极的例子来提高对抗性的鲁棒性，并旨在最大化数据样本的随机增强及其对抗性示例之间的相似性，同时不断更新分类头，以避免在认知解离之间分类头和嵌入空间。这种分离是由于CL将网络更新到嵌入空间的事实引起的，同时冻结用于生成新的积极对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法，具有对抗性特征（CLAF）的对比度学习，在该数据集上，它在替代监督和自我监督的对抗学习方法上均优于强大的精度和清洁精度。

已经提出了多种寻找属于种植的致密子图的顶点的方法，以随机致密的$ G（n，p）$图表，重点是种植的派系。这些方法可以识别多项式时间中的种植的子图，但全部限于几个子图结构。这里，我们呈现Pygon，这是一种基于图的神经网络的算法，这对种植子图的结构不敏感。这是第一个使用高级学习工具来恢复密集子图的算法。我们表明Pygon可以恢复尺寸$ \ theta \ left的派系（\ sqrt {n}右）$，其中$ n $是背景图的大小，与现有技术相当。我们还表明，相同的算法可以在指向和无向图形中恢复左转（\ sqrt {n \右）$的尺寸尺寸的其他种植的子图。我们建议一个猜想，没有多项式时间PAC学习算法可以检测尺寸小于$ o \ lex的种植的密集子图（\ sqrt {n}右）$，即使原则上也可以找到对数尺寸的密集子图。

尽管对视觉识别任务进行了显着进展，但是当培训数据稀缺或高度不平衡时，深神经网络仍然易于普遍，使他们非常容易受到现实世界的例子。在本文中，我们提出了一种令人惊讶的简单且高效的方法来缓解此限制：使用纯噪声图像作为额外的训练数据。与常见使用添加剂噪声或对抗数据的噪声不同，我们通过直接训练纯无随机噪声图像提出了完全不同的视角。我们提出了一种新的分发感知路由批量归一化层（DAR-BN），除了同一网络内的自然图像之外，还可以在纯噪声图像上训练。这鼓励泛化和抑制过度装备。我们所提出的方法显着提高了不平衡的分类性能，从而获得了最先进的导致大量的长尾图像分类数据集（Cifar-10-LT，CiFar-100-LT，想象齿 - LT，和celeba-5）。此外，我们的方法非常简单且易于使用作为一般的新增强工具（在现有增强的顶部），并且可以在任何训练方案中结合。它不需要任何专门的数据生成或培训程序，从而保持培训快速高效

深度分离结果提出了对深度神经网络过较浅的架构的好处的理论解释，建立前者具有卓越的近似能力。然而，没有已知的结果，其中更深的架构利用这种优势成为可提供的优化保证。我们证明，当数据由具有满足某些温和假设的径向对称的分布产生的数据时，梯度下降可以使用具有两层S形激活的深度2神经网络有效地学习球指示器功能，并且隐藏层固定在一起训练。由于众所周知，当使用用单层非线性的深度2网络（Safran和Shamir，2017）使用深度2网络时，球指示器难以近似于一定的重型分配，这建立了我们最好的知识，基于第一优化的分离结果，其中近似架构的近似效益在实践中可怕的。我们的证明技术依赖于随机特征方法，该方法减少了用单个神经元学习的问题，其中新工具需要在数据分布重尾时显示梯度下降的收敛。

标准预审进的语言模型可在子字代币序列上运行，而无需直接访问组成每个令牌字符串表示的字符。我们探究了预审前的语言模型的嵌入层，并表明模型在一个令人惊讶的程度上学习了整个单词和子字代币的内部字符组成，而没有看到字符和令牌。我们的结果表明，罗伯塔（Roberta）的嵌入层具有足够的信息，可以准确地阐明词汇的三分之一，并在所有令牌类型上达到高平均角色Ngram重叠。我们进一步测试了使用其他字符信息丰富子词模型是否可以改善语言建模，并观察到该方法具有几乎相同的学习曲线，作为训练而无需基于拼写的丰富。总体而言，我们的结果表明，语言建模目标激励模型隐式学习一些拼写概念，并且明确教授模型如何拼写的方式似乎并没有增强其在此类任务上的绩效。

最近，在学习没有更换SGD的收敛率的情况下，有很多兴趣，并证明它在最坏情况下比更换SGD更快。然而，已知的下限忽略了问题的几何形状，包括其条件号，而上限明确取决于它。也许令人惊讶的是，我们证明，当考虑条件号时，没有替换SGD \ EMPH {没有}在最坏情况下，除非是时期的数量（通过数据来说）大于条件号。由于机器学习和其他领域的许多问题都没有条件并涉及大型数据集，这表明没有替换不一定改善用于现实迭代预算的更换采样。我们通过提供具有紧密（最多日志因子）的新下限和上限来展示这一点，用于致通二次术语的二次问题，精确地量化了对问题参数的依赖性。

A recent line of work studies overparametrized neural networks in the "kernel regime," i.e. when the network behaves during training as a kernelized linear predictor, and thus training with gradient descent has the effect of finding the minimum RKHS norm solution. This stands in contrast to other studies which demonstrate how gradient descent on overparametrized multilayer networks can induce rich implicit biases that are not RKHS norms. Building on an observation by Chizat and Bach [2018], we show how the scale of the initialization controls the transition between the "kernel" (aka lazy) and "rich" (aka active) regimes and affects generalization properties in multilayer homogeneous models. We provide a complete and detailed analysis for a simple two-layer model that already exhibits an interesting and meaningful transition between the kernel and rich regimes, and we demonstrate the transition for more complex matrix factorization models and multilayer non-linear networks.